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摘 2: [目的 / 意义 ] 本文 以 项 目 评审 为 例 探索 专家 知识 为 基础 的 同行 评议 判断 的 有 效 性 。 [方法 / 过 程 ] 本 文采 用 数据 包 络 
分 析 测度 项 目的 研发 效率 ， 评 价 模型 为 经 超 效率 修正 的 CCR 模型 ， 并 将 该 效率 指标 作为 同行 评议 有 效 性 的 验证 标准 。 数 据 源 
为 国家 林业 局 实施 完毕 的 126 I] “948” MB, WE 13 项 投入 与 产 出 评价 指标 。[ 结 果 / 结论 ] 实验 发 现 : 项 目 同行 评议 结果 
与 实际 研发 效率 (DEA 超 效 率 ) 之 间 呈 现 适 度 的 正 相 关 性 ，Spearman 相关 系数 p =0. 250 (Siz.《“0.01)。 主 观 评审 犯 工 类 错误 
与 工 类 错误 的 比重 分 别 为 17. 5% 与 18. 2%， 有 效 同行 评议 决策 比重 占 64. 3%。 证 实 同行 评议 的 确 存 在 一 定 的 系统 误差 但 不 可 
WR. 
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学 家 颁奖 MENRE, ERAK, ARL) 评审 ; 
1 引言 轩 项 目 经 费 资助 的 审批 ; 加 学 科 发 展 态势 评估 及 研发 


评价 实践 ( Research Assessment Exercise, RAE) ; 
现代 同行 评审 制度 起 源 于 18 世纪 ， 当 时 英国 皇家 ©F1000 等 专家 的 论文 推荐 打分 中。 发 展 至 今 ， 同 行 评 
协会 (科学 共同 体 ) 在 全 球 刚 成 立 ， 传 统 的 书信 交流 。 议 为 基础 的 共同 体内 部 成 员 间 的 学 术 质 量 监督 机 制 正 
模式 被 期 刊 交 流 模 式 取代 ， 同 时 以 共同 体内 部 成 员 同 ” 逐渐 发 展 成 为 一 项 系统 性 工程 ， 来 维护 科学 交流 的 高 
行 评议 的 方式 对 学 术 质 量 监督 开始 确立 中 。 目 前， 同行 。 水 平和 高 质量 。 
评议 机 制 在 学 界 广 受 赞誉 ， 其 应 用 领域 扩展 到 OF 长 久 以 来 ， 科 学 共同 体 成 员 坚 持 科 学 内 部 有 其 内 
学 家 智力 劳动 成 果 (论文 手稿 ) 发 表 的 评审 ; 科学 。 在 的 客观 标准 ， 科 学 家 坚持 这 一 标准 开展 同行 评议 。 
家 岗位 雇佣 和 职业 晋升 (由 副教授 晋升 为 教授 ); @@ 科 ”该 无 形 标准 实际 上 为 科学 社会 内 部 成 员 一 致 认可 并 且 
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普遍 遵守 的 自律 法 则 ， 规 范 科 学 家 群体 的 研究 行为 ， 
使 得 同行 评议 的 结果 收敛 并 达成 一 致 性 共识 。 这 也 是 
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万 3, WERB, AFF 


基于 DEA 超 效率 验证 的 项 


同行 评议 结果 有 效 性 研究 


1.8~3.1 倍 。 受 资助 项 目的 文献 计量 表现 显然 更 佳 ， 进 
而 佐证 了 评审 委员 会 的 专家 评审 结果 与 文献 计量 结果 


Hii (MERTON) 科学 社会 学 中 指出 的 科学 内 在 的 民 
SEA PENI AR AS RL, 

但 是 ， 同 行 评议 在 评价 实践 中 的 广泛 使 用 同时 ， 
其 可 能 的 不 完备 一 面 正 受到 越 来 越 多 的 关注 (主观 性 
偏差 ) 。 和 荷兰 国家 研究 委员 会 经 费 资助 、 澳 大 利 亚 研究 
委员 会 经 费 资助 、 美 国 国家 科学 院 报告 对 同行 评议 有 
偏 源 都 有 报道 上 。 为 了 避免 主观 有 偏 对 评审 结果 产生 的 
影响 ，PLosOne、F1000 和 Publons 平台 相继 推出 开放 
的 同行 评议 ， 避 免 双 盲 评审 可 能 的 偏差 的 。 

目前 来 看 ， 任 何 量度 工具 都 有 自身 的 局 限 。 同 行 


之 间 存 在 显著 的 正 相 关 性 。 
2.1.2 不 相关 

MELIN 和 DANELL 中 对 瑞典 战略 研究 基 
(SFSR), HORNBOSTEL 等 中 汇总 德国 研究 基 
(DFG) 埃 米 : 诺 特 计划 (ENP) 年 轻 科 学 家 的 奖 学 4 
资助 申请 对 比 发 现 : 成 功 和 失败 的 申请 者 在 经 费 资助 
审批 前 年 与 后 n 年 的 年 均 出 版 量 、 篇 均 引 文 量 和 发 
文 期 刊 的 影响 因子 等 文献 计量 指标 差不多 。 
2.1.3 正 相 关 与 负 相关 的 混合 结论 
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评议 由 于 专家 主观 性 ， 会 导致 评审 结果 的 诅 人 式 有 
偏 S8。 研 究 人 员 不 禁 要 问 ， 同行 评议 闭 选 结果 在 多 大 程 
度 上 是 有 效 的 或 有 价值 的 ? 同行 评议 在 多 大 比例 上 实 
现 其 历史 使 命 来 洲 选 出 最 有 前 景 和 应 用 价值 最 好 的 项 
目 来 实现 资源 高 效 配置 ? 同行 评议 在 多 大 比例 上 能 够 
保证 稀缺 的 经 费 资源 或 版 面 资源 分 配给 高 质量 的 研究 ? 
本 文 以 项 目 资助 评审 为 实证 探究 。 


2 文献 综述 


2.1 国内 外 相关 研究 


WESSELY 和 WOOD 指 出 同行 评议 方法 它 不 仅 是 
一 种 学 术 性 的 探索 ， 更 是 一 种 政策 性 的 诉求 ， 致 力 于 
通过 客观 、 公 正 的 评价 来 维护 科学 系统 的 健康 运转 并 
提升 科学 研究 的 质量 。 而 对 科技 项 目 资助 评审 领域 的 
调研 结果 给 出 3 类 “ 异 质 性 ”答案 。 
2.1.1 适度 的 正 相 关 

MAVIS 和 KATZ 统 计 美 国 畸形 儿 基 金 会 、 
BORNMANND 统 计 了 德国 勃 林 格 .有 殷 格 翰 基 金 会 
(BIF), BORNMANN 等 四 调研 欧洲 分 子 生物 机 构 
(EMBO), NEUFELD 和 VON INSI 调 研 德国 研究 基金 
会 (DFG) LI 和 AGHA 中 调研 美国 国立 卫生 研究 院 
(NIH) ， 结 果 发 现 : 资助 与 未 资助 的 科研 项 目的 论文 产 
出 数量 、 引 用 量 和 篇 均 被 引 量 ， 前 者 分 别 是 后 者 的 


了 和 荷兰 国家 科学 研究 委员 会 (NRC) 中 经 济 和 社会 行 
为 科学 两 个 学 部 、BORNMANN 等 吗 对 荷兰 经 济 和 社 
会 科学 研究 委员 会 (MaGW) 项 目 资助 的 申请 者 调研 ， 
结果 发 现 : 某 些 被 拒绝 的 研究 人 员 也 会 比 接受 基金 资 
助 的 研究 人 员 有 更 好 的 科研 绩效 表现 (出 版 和 引用 
量 ) ， 学 术 声 誉 低 的 申请 者 可 能 提出 更 高 价值 的 科学 研 
究 ， 而 学 术 声 誉 高 的 申请 者 也 可 能 从 事 并 不 具有 创新 
价值 的 研究 ， 二 者 量度 结果 不 一 致 。 


2.2 本 文 切入 点 


得 出 异 质 性 的 结果 ， 受 很 多 因素 的 影响 。 首 先 ， 
科研 产 出 的 成 果 数 量 与 学 术 影 响 力 可 能 受到 科学 家 年 
龄 的 影响 ， 对 于 一 些 青 年 研究 资助 项 目 或 博士 后 项 目 
资助 ， 受 资助 成 功 者 与 失败 者 的 科研 表现 差距 并 不 明 
显 。 其 次 ， 没 有 共通 一 致 认可 研究 标准 、 测 度 指标 
(时 间 窗 ) 、 变 化 指标 、 实 验 步 又 、 流 程 设计 ， 不 便于 
不 同 研究 者 结果 对 比 。 

目前 ， 同 行 评议 项 目 资助 评审 的 有 效 性 验证 标准 
普遍 采用 引用 为 基础 的 测度 指标 (如 被 引 量 、 期 刊 影 
响 因子 JIF 、Citescore 值 、SNIP 指数 、SJR 指数 、H 指 
数 、 皇 冠 指 数 ) 作为 同行 评议 决策 (学 术 水 平 ) 的 验 
证 标准 。 引 用 测度 仅仅 适合 于 基础 研究 以 及 哲学 人 文 
社 科 类 的 研究 ， 而 对 于 应 用 性 比较 强 的 项 目 进 行 量度 
评价 就 不 再 适用 了 。 因 为 基础 研究 的 成 果 仅 仅 是 论文 ， 
应 用 研究 项 目的 产 出 成 果 还 涉及 专利 与 标准 等 。 英 国 
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应 用 实践 


1975 一 1992 年 在 心血 管 和 中 风 疾 病 研究 发 现 ， 平 均 每 
£1 (US $1.43) 投入 将 会 带 来 在 经 济 和 社会 健康 领域 
£1.39 的 回报 四。2010 年 ， 美 国 国立 卫生 研究 院 
(NIH) 现任 院 长 COLLINS 在 健康 宣传 报告 中 指出 : 
美国 国立 卫生 研究 院 支出 的 每 $1 都 会 在 12 个 月 内 转化 
成 为 $ 2.21 的 额外 经 济 产 出 中 。 

考虑 基础 研究 投入 的 多 样 性 回报 ， 为 了 在 更 广 的 
维度 上 考虑 项 目的 多 样 性 产 出 ， 本 文选 择 数据 包 络 分 
Bt (DEA) 方法 ,许多 研究 将 DEA 方法 应 用 到 科研 投 
入 / 产 出 的 计量 分 析 中 ， 尤 其 科技 管理 与 科技 政策 领 
域 ， 它 有 诸多 优点 : 对 数据 源 没有 要 求 ， 不 需要 服 
从 一 定 的 假设 分 布 ; @ 无 需 假定 生产 函数 来 估计 生产 
前 沿 面 ; @ 可 解决 多 投入 /多 产 出 的 效率 计算 ; OARS 
数 模 型 ， 不 需要 考虑 投入 / 产 出 指标 的 权重 ; © ANGE 
考虑 指标 量 纲 。 本 文通 过 更 加 先进 的 DEA 模型 (指标) 
来 测度 项 目的 科研 生产 率 (表征 学 术 价值 )， 并 将 其 作 
为 同行 评议 决策 有 效 性 的 验证 标准 ， 而 非 引 用 量度 (K 
征 学 术 影 响 力 )， 以 求 通过 更 加 精准 模型 来 印证 定性 同 
行 评议 价值 判断 与 定量 评价 模型 的 量度 结果 是 否 相 一 
致 ? 同行 评议 决策 过 程 中 犯 1 类 与 I 类 错误 及 其 比例 ? 


3 理论 分 析 与 实验 设计 


3.1 原理 : DEA 模型 


数据 包 络 分 析 (Data Envelopment Analysis, DEA) 

是 运筹 学 和 经 济 学 中 用 于 估计 生产 前 沿 面 的 非 参 数 方 
投入 2 
A 


DEA 模 型 
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法 。 它 在 实证 研究 中 用 于 测量 被 评价 单元 或 决策 单元 
(Decision Making Unit, DMU) 的 生产 效率 ，DMU 指 
将 投入 转化 为 产 出 的 创新 主体 。 
3.1.1 传统 DEA 模型 

数据 包 络 分 析 法 作为 非 参数 法 ， 借 助 线性 规划 思 
想 ， 应 用 实证 方式 估计 生产 技术 的 前 沿 面 ， 并 测量 
“决策 单元 的 效率 "， 该 模型 被 命名 为 CCR PEAD, AS 
文 评 价 模型 也 是 选择 投入 角度 (Input-oriented) 的 
CCR 模型 ， 即 将 线性 规划 在 产 出 不 变 的 条 件 下 既定 的 
生产 要 素 生产 一 定量 产品 所 需要 花费 的 最 小 成 本 占 实际 
成 本 的 比率 ， 如 果 该 比率 为 1， 则 称 DMU 技术 有 效 。 
3.1.2 超 效率 (SE)-DEA 模型 

DEA 超 效 率 模型 作为 DEA 方法 的 一 种 改进 。 传 
统 DEA 模型 依据 决策 单元 是 否 位 于 “生产 前 沿 面 ” 上 
判断 决策 单元 是 否 有 效 ， 但 却 无 法 判断 有 效 决策 单元 的 
优 劣 。 为 了 弥补 这 一 缺陷 ，ANDERSEN 和 PETERSEN 
提出 了 超 效率 (Super Efficiency，SE) 模型 ， 超 效率 
SE-DEA 模型 能 够 对 有 效 前 沿 面 上 的 决策 单元 进行 再 排 
序 。 其 基本 思想 是 : 在 评估 决策 单元 (DMU) 时 ,将 
该 决策 单元 本 身 排除 在 单元 集合 之 外 。 为 了 更 直观 地 
说 明 以 图 1 来 前 述 超 效率 模型 的 原理 。 

传统 CCR 模型 计算 的 效率 值 是 将 DMU 与 包 络 面 
上 的 有 效 DMU 相 比 ， 因 此 可 以 区 分 有 效 与 无 效 
DMU， 而 对 于 有 效 的 DMU 进一步 区 分 需要 超 效 率 
SE-DEA 模型 。DEA 模型 中 ，C 点 由 于 位 于 生产 前 沿 
面 ABCDE 上 ，C 点 技术 有 效 ， 效率 值 9=1; 超 效率 
SE-DEA 模型 中 ， 计 算 C 点 技术 效率 要 将 该 点 排除 在 

投入 2 
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9 投入 1 
超 效 率 SE-DEA 模 型 


All 传统 DEA 模型 与 超 效 率 SE-DEA 模型 对 比 (投入 角度 ) 


Fig.1 Comparison between traditional DEA model and super-efficiency SE-DEA model (input-oriented) 
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集合 外 ， 生 产 前 沿 面 变 成 ABDE 上 ，C 点 技术 效率 0”= 
OCVOC>1。 

超 效率 DEA 评价 模型 与 传统 DEA 模型 的 数学 形 
式 基 本 相似 ， 对 于 线性 规划 Dor 有 如 下 定义 : WA n 
个 决策 单元 (DMU)， 每 个 DMU WA m 种 类 型 输入 ， 
A s 种 类 型 输出 。 对 于 DMU, GE [1,…,n])， 有 : 

X 和 了 分别 表示 第 j 个 决策 单元 的 输入 向 量 和 输 
出 向 量 ; 

X= 第 j 个 决策 单元 的 第 i 种 输入 的 投入 量 ，xj>0 
(1<i<m); 

Y= 第 j 个 决策 单元 的 第 + 种 输出 的 产 出 量 ，y,>0 


( l<r<s ) 3 


m s 
min [ Osuper ae D Si ats > si )] 
i=1 r=1 


n 
Si: > aks + Si = Osuper Xi i= T2 wey IM 
j=1 


D'or 2 + 
Saves 一 Sr = Y, 
j=1 


A;20, j=1,2,…n 


FS A2 Ls 


S 20, s*20 


在 线性 规划 模型 中 ，bwe 为 决策 单元 DMU 的 超 效 
率 值 ; s; 与 %* 为 松弛 变量 ， 分 别 表示 投入 宛 余 与 产 出 
不 足 ，s 为 非 阿 基 米 德 无 穷 小 量 。 模 型 中 ， 当 buel 
时 ， 决 策 单元 的 科研 效率 为 DEA 有 效 ， 达 到 了 最 优 
解 ， 当 Oul, RRAIN ( 弱 )DEA 有 效 ; H 0,,。<1 
时 ,决策 单元 不 是 DEA AR, 经济 活动 不 是 技术 效率 
最 佳 。 


3.2 评价 指标 设计 


而 针对 科研 项 目 评价 后 验 性 有 效 性 分 析 的 指标 体 
系 设计 ， 本 文 借鉴 欧盟 委员 会 对 科学 研究 项 目 ( 尤 
其 是 应 用 性 研究 ) 评价 ， 突 破 传统 的 仅 基 于 基础 性 学 
术 论 文 产 出 的 量度 模式 ， 进 一 步 拓展 到 整个 研发 活动 
的 全 产业 链 。 

详细 地 说 ， 一 方面 ， 项 目 投入 评价 ， 其 指标 涵盖 
RABE, WEAR 且 、 人 研发 设备 3、 研发 周期 14, 
技术 培训 15 共 5 项 指标 。 男 一 方面 ， 项 目 产 出 评价 。 
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同行 评议 结果 有 效 性 研究 


基于 DEA 超 效率 验证 的 项 


根据 OECD 对 项 目 类 型 的 划分 (基础 研究 、 应 用 研究 、 
试验 开发 类 研究 )， 科 研 产 出 成 果 不 仅 涵盖 : 哲学 、 
人 文 社 科 类 的 基础 研究 普遍 的 学 术 著 作 O1、 期 刊 论文 
02、 研 究 报告 03 等 学 术 交 流出 版 物 ， 也 包括 名 自然 、 
理工 类 学 科 由 于 知识 的 转移 所 带 来 的 技术 性 产 出 ， 由 
专利 04、 标 准 05、 计 算 机 软件 、 加 工 工艺 等 其 它 保 
密 性 成 果 06 RIE; 加 甚至 随 着 技术 逐渐 成 熟 ， 从 实验 
室 阶段 过 渡 到 中 试 线 与 实验 基地 07 流程 化 生产 阶段 ; 
由 随 着 技术 成 熟 度 的 进一步 提高 ， 技 术 成 果 进 一 步 向 
下 游 转移 、 转 化 ， 由 实验 室 样品 到 产业 化 生产 的 商品 ， 
所 带 来 的 商业 利润 等 直接 与 间接 回报 08; @@ 同 时 ， 技 
术 产 出 在 国内 外 的 先进 水 平 由 09 表征 ; OMH, A 
识 创造 、 技 术 转 移 、 科 技 成 果 转 化 过 程 密切 了 大 学 与 
企业 之 间 的 交流 与 合作 ， 因 此 在 产 出 评价 指标 之 中 也 
必须 考虑 科研 合作 频次 010; @ 人 才 在 联系 “大 学 与 
企业 ”技术 转移 转化 过 程 中 的 关键 性 纽带 作用 ， 根 据 
SALTER 和 MARTIN 的 研究 : 拥有 科学 理论 武装 的 优 
秀 大 学 毕业 生 和 技能 熟练 的 工程 师 进 入 产业 部 门 工作 
来 解决 复杂 的 科学 与 技术 问题 ， 是 基础 研究 转化 成 为 
经 济 获 益 的 主要 途径 外 。 换 句 话 说 ,培养 训练 有 素 的 
问题 解决 者 (Trained Problem-Solvers) 是 联系 大 学 与 
企业 之 间 的 桥梁 ,培养 有 资格 的 科学 家 和 工程 师 作 为 
知识 储备 的 可 靠 资 源 池 ， 本 文 用 人 才 产 出 O11 该 指标 
表征 (#1). 


3.3 案例 数据 : 


“948 计划 ”是 中 国 唯一 对 国际 先进 的 农 、 林 、 水 
先进 技术 引进 的 专项 计划 。 经 国务 院 批准 ， 该 计划 自 
1996 年 5 月 开始 实施 ， 以 项 目 合同 制 的 形式 承包 给 大 
学 和 科研 机 构 。948 计划 作为 技术 引进 类 项 目 ， 以 应 用 
为 导向 ， 其 成 果 既 包括 论文 学 术 产 出 ， 还 包括 专利 技 
术 产 出 ， 甚 至 技术 转移 、 转 化 与 推广 应 用 获得 的 经 济 
利益 ， 涉 及 整个 研发 产业 价值 链 所 有 环节 可 能 的 成 果 
产 出 类 型 ， 本 研究 将 其 作为 项 目的 数据 源 ( 表 2)。 


“948 计划 ” 


3.4 实验 过 程 


本 文 实验 过 程 技 术 路 线 ， 如 图 2 所 示 。 
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表 1 DEA 模型 的 “投入 - 产 出 ”指标 设计 


Table 1 Design of "input-output" indicators of DEA model 


投入 指标 产 出 指标 
I1: 研发 经 费 总 额 Ol: 著作 数 
12: 研发 人 员 全 时 当量 人 数 科学 与 技术 创新 实践 过 程 02: 期 刊 论文 数 
B: 研发 设备 市 场 价值 03: 研究 报告 数 
14: 研发 周期 04: 专利 
5: 技术 培训 场次 O5: 标准 


技术 成 果 转 移 转化 过 程 


《948 项 目 验收 证 书 》 


948 项 目 信息 库 
图 2 本 文 实证 研究 的 实验 过 程 


Fig.2 Experimental research process in this paper 


步骤 (1): 数据 获取 。 由 于 “948 计划 ”项 目的 申 
请 、 资 助 、 评 审 与 验收 文档 资料 属于 不 公开 的 灰色 文 
献 ， 国 家 行政 部 门 内 部 资料 。 本 文 数 据 选取 国家 林业 
局 承担 实施 的 “948 计划 ”项 目 ， 借 助 于 承担 项 目 便 利 
提取 1996 年 以 来 存放 于 国家 林业 局 科技 司 的 纸 质 版 
948 项 目 《 合 同 书 》 与 《验收 证 书 》。 

步骤 (2): 数字 化 加 工 处 理 。 将 纸 质 版 的 948 项 
目 《 合 同 书 》 和 《验收 证 书 》 文 档 进 行 数字 化 处 理 ， 
获取 电子 版 PDF 原文 。 进 一 步 开展 二 次 化 深加工 ， 从 
项 目的 实施 内 容 、 考 核 指 标 和 成 果 产 出 等 信息 项 中 提 
取 相 应 的 元 数据 (论文 、 专 利 、 标 准 、 认 定 成 果 、 示 
范 点 等 )， 采 用 统一 的 资源 描述 框架 规范 将 非 结构 化 的 
文本 信息 转换 成 结构 化 的 项 目 信息 并 录 和 人 到 “948 林业 
项 目 信息 库 ” 中 ， 进 而 发 布 在 中 国 林 业 信 息 网 (http:/ 
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O06: 其 它 〈 保 密 性 ) 科技 成 果 数 
O7: 试验 基地 数 

O8: 技术 成 果 推 广 直接 与 间接 获 益 
09: 技术 先进 水 平 

O10: 学 术 互 动 与 科研 合作 频次 
Oll: 人 才 培 养 数 


x (4) Saar 
数据 预 处 理 (5) 、| 项 目 同行 评议 
多 源 数据 融合 | | 一 LAX+b=C > 有 效 性 分 析 
948 项 目 投入 / 产 出 EMS1.3 计 算 pe 
”数据 相关 指标 se ee 


www.lknet.ac.cn) 林业 成 果 栏 下 以 方便 用 户 对 项 目 信 息 
检索 。 

步 又 G): 实验 数据 的 提取 与 融合 。 由 于 2000 年 
以 前 国家 林业 局 实施 的 948 计划 项 目 规模 较 少 ， 在 
2001—2011 年 间 批准 实施 948 计划 项 目 共 764 项, W 
盖 生 态 建设 类 项 目 402 项 与 林业 产业 技术 类 项 目 362 
项 。 考 虑 到 项 目的 实施 周期 ， 本 文 仅 提 取 2001 一 2005 
年 (也 就 是 在 “十 五 ”期 间 ) 批准 实施 的 126 项 林业 
产业 技术 类 项 目 (简称 “林产 项 目 ”)， 在 此 期 间 的 项 
目 全 都 实施 完毕 并 通过 了 结 题 验收 。 输 入 数据 的 预 处 
理 。 按 照 本 文 确 立 的 评价 指标 体系 ， 将 提取 的 126 项 
948 项 目的 投入 与 产 出 信息 。 这 其 中 涉及 到 合同 信息 与 
验收 信息 的 异 构 数 据 融合 。 

步骤 (4): 效率 值 计 算 。 本 文采 用 EMS 1.3 经 济 
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基于 DEA 超 效率 验证 的 项 目 同行 评议 结果 有 效 性 研究 
表 2 “十 五 ”期 间 批准 实施 的 948 林产 技术 项 目的 评价 指标 信息 
Table 2 Evaluation indicators of "948 project" forest products technologies approved during the "Tenth Five-Year Plan" period 
序 项 项 承 rd 研 研 W 出 期 研 专 标 学 人 
号 称 位 We 队 f 续 作 x 告 个 个 动 养 
z 8 iun & @ % E B dd 
ZR Ge £ BB a 8 
E 8 2S i = 
= 项 
2 
= 
1 2001-01(1) ” 木 塑 复合 材料 的 注 PEREK 995 5 675 3 0 6 0 2 0 i 3 1 
塑 成 型 技术 引进 材 工业 研究 所 
16 2002-19 加 拿 大 旋 切 单 板 柔 ”南京 林业 大 学 70 6 0 3 0 2 0 2 Ts Ces 1 0 
化 技术 及 关键 设备 
引进 
17 2002-27(1) 梨 果 产后 商品 化 处 ”河北 省 林业 科 50 16 26.5 S ae 0 5 0 0 [ 2 0 
理 及 包装 保鲜 技术 ”学 研究 院 
引进 
18 2002-34 病虫害 防治 低 量 风 ”南京 林业 大 学 65 18 267 See 0 6 0 15 Ty ‘ged 2 4 
送 高 射程 喷雾 技术 
引进 
19 2002-36 气 助 式 静电 喷雾 机 ” 国家 林业 局 森 。 60 6 1 : aik 0 4 1 1 i 3 0 
技术 引进 林 病 虫害 防治 
总 站 
20 2002-39(1) 便携式 木材 智能 无 ”东北 林业 大 学 50 19 3510 3 en 0 13 0 1 0 nsnas 2 8 
损 探 测 仪 的 引进 
21 2002-39(2) JAR X HARE 东北 林业 大 学 40 9 0 9 1 19 1 1 OF ae 2 0 
测 系统 的 引进 
114 2005-4-68 软木 热 - 化 学 膨胀 ”西北 农林 科技 50 12 104 3 .i 0 7 0 3 O sane 2 4 
技术 引进 大 学 
115 2005-4-69 醋 液 深度 开发 关 ”浙江 林学 院 90 7 7.5 Br, + A 2 4 0 2 e 5 0 
键 技术 引进 
116 ”2005-4-70 基于 纤维 素 及 其 衍 ”中 国 林 科 院 林 40 10 0 3 0 2 0 4 Dee 2 1 
生物 的 高 分 子 乳液 ” 产 化 学 工业 研 
制备 技术 引进 究 所 
125 2005-4-C04 ”濒危 野生 动物 基因 国家 濒危 野生 140 7 2.2 2 t 0 7 0 0 O: gave 0 0 
鉴定 试剂 盒 研制 技 “ 动 植物 种 质 基 
术 创新 因 保 护 中 心 
(浙江 大 学 ) 
126 2005-4-C06 ” 紫 胶 漂 白 胶水 果 保 ”中 国 林 科 院 资 100 11 323 3 es 0 11 0 7 Ò ui 0 0 
鲜 剂 研制 及 应 用 技 ” 源 昆虫 研究 所 
术 创新 与 示范 
* 注 : 鉴于 版 面 有 限 ， 这 里 仅 提 供 局 部 948 项 目 信息 
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计量 软件 ， 按 照 软件 的 要 求 进 行规 范 化 的 整理 ， 模 型 
选择 投入 导向 的 CCR 模型 ， 计 算 决 策 单元 的 DEA 超 
效率 (SE) 值 。 

步骤 (5): 数据 分 析 与 绘图 。 借 助 SPSS 20.0 对 项 
目的 同行 评议 打分 与 DEA 超 效 率 (SE) 开展 正 态 分 布 
检验 与 相关 性 分 析 ， 以 及 两 指标 与 典型 投入 / 产 出 指标 
的 相关 性 分 析 。 绘 制 以 上 两 指标 的 散 点 分 布 图 并 计算 
I 类 误差 〈 纳 伪 ) 和 开 类 误差 (FA) 的 比重 。 


4 研究 结果 


4.1 超 效 率 (SE)-DEA 模型 测度 结果 分 析 


本 文 将 计算 的 项 目 DEA 超 效率 值 按照 降序 排列 
( 表 3)。 结 果 发 现 : 研发 效率 高 Top 10 项 目 ， 主 要 
分 布 在 “木材 加 工 ”“ 林 产 化 工 ” 领 域 ， 这 些 项 目 实 
施 涉及 研发 全 产业 链 ， 不 仅 有 论文 还 有 技术 产 出 ， 甚 
至 技术 成 熟 到 中 试 阶 段 ， 并 有 一 定 的 市 场 获 益 。 如 林 
科 院 前 院 长 江 泽 慧 、 林 科 院 木材 所 前 所 长 费 本 华 主持 
的 项 目 ， 其 项 目 依托 单位 是 科研 院 所 ， 有 丰富 的 师资 、 
教育 、 国 际 合作 等 研发 创新 的 条 件 与 基础 ， 所 以 项 目 
实施 有 很 高 的 研发 效率 。 外 而 依托 单位 为 国家 林业 局 
由 于 没有 事业 单位 的 条 件 基础 ， 又 缺乏 团队 与 研究 生 
支撑 ， 脱 离 了 教学 与 科研 一 线 ， 所 以 项 目的 研发 效率 
值 偏 低 ， 如 周 建 仁 处 长 、 王 琦 处 长 从 林 科 院 调 到 林业 
局 工作 属于 该 情况 。@ 还 有 一 些 项 目 更 贴近 上 游 基 础 
性 实验 ， 新 颖 性 高 但 实用 性 低 、 成 本 高 但 技术 成 熟 度 
低 ， 这 导致 市 场 推 广 前 景 不 大 ， 同 时 没有 论文 与 专利 
RE, 最终 导 致 项 目的 研发 效率 值 较 低 ， 如 卢 孟 柱 教 
授 、 张 宗 和 教授 承担 项 目 丝 属于 该 情况 。 


4.2 同行 评议 决策 的 有 效 性 


在 同行 评议 决策 有 效 性 的 界定 上 ， 我 们 借鉴 经 典 
论述 中: 以 同行 评审 打分 与 研发 效率 (DEA 超 效率 ) 
的 中 位 数 为 分 割 点 ， 将 整个 二 维 联合 分 布 划分 为 4 象 
限 。 其 中 ， 同 行 评审 打分 高 于 平均 水 平 而 其 科研 效率 
低 于 平均 水 平 的 项 目 ， 为 同行 评审 的 I 类 误差 ， 而 同 
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行 评审 打分 低 于 平均 水 平 而 其 科研 效率 高 于 平均 水 平 
的 项 目 ， 为 同行 评审 的 荆 类 误差 ( 表 4)。 

我 们 将 计算 的 项 目 同 行 评审 值 与 DEA 超 效率 值 汇 
总 到 XY 直角 坐标 系 中 ， 并 借助 SPSS 绘制 X HIS Y 
轴 上 的 频次 分 布 图 。 以 DEA 超 效率 的 中 位 数 点 所 在 轴 
线 为 X 轴 ， 以 同行 评议 得 分 的 中 位 数 点 所 在 轴线 为 Y 
轴 ， 将 整个 XY 直角 坐标 系 划 分 为 4 个 象限 ， 其 中 左 
上 象限 点 为 被 高 估 的 工 类 误差 (“ 纳 伪 ”) 分 布点 ， 右 下 
象限 点 为 被 低估 的 开 类 误差 (“SRL”) 分 布点 (图 3)。 

本 研究 发 现 : 同行 评议 正确 决策 的 比重 64.3%, 
I 类 误差 的 比重 为 17.3% ， 开 类 误差 的 比重 为 18.2% 
( 表 5)。 

而 在 已 有 的 项 目 经 费 资助 评审 的 有 效 性 研究 中 ， 
如 BORNMANN 对 德国 勃 林 格 ' 括 格 翰 基 金 会 的 博士 后 
奖学金 资助 外 以 及 对 欧洲 分 子 生物 学 组 织 的 奖学金 和 青 
年 研究 者 计划 项 目 资助 9， 结果 沸 发 现 : I 型 误差 的 比 
重 远 大 于 了 工 型 误差 。 本 文 948 资助 计划 的 结果 不 同 : I 
类 和 荆 类 误差 的 比重 大 臻 相当。 该 差异 原因 : 欧洲 、 
美国 的 项 目 资助 评审 更 为 严格 ， 有 盲 评 、 会 评 等 流程 ， 
而 且 评 审 专 家 组 成 员 也 有 严格 的 洲 先 机制、 打分 有 严 
格 的 标准 ， 评 审 质量 也 更 高 ， 所 以 专家 打分 更 倾向 于 
犯 工 类 错误 (FF) 而 非 1 类 错误 ( 纳 伪 )， 即 为 实现 
高 水 平 项 目的 有 效 六 选 “宁可 错 杀 一 千 也 不 放 过 一 
个 ”。 而 国内 项 目 基 金 会 的 运作 环境 较为 宽松 。 启 示 : 
更 应 像 西方 一 样 加 强 “ 过 程 质量 监管 ”"， 严 格 层 层 把 
关 ， 扭 转 中 国 当 前 “ 重 立项 轻 验收 ”的 局 面 。 

正 态 分 布 检验 ， 在 消除 样本 量 和 异常 值 因 素 对 统 
计 分 析 方 法 选择 造成 影响 与 干扰 基础 上 ， 无 论 Kol- 
mogorov-Smimov 检验 和 Shapiro-Wilk 检验 两 种 方法 的 
结果 一 致 : 同行 评议 得 分 (Scores) 的 伴随 概率 分 别 为 
Px_s=0.200 与 P;w=0.067， 丝 大 于 显著 性 水 平 0.05， 接 
受 零 假设 ， 服 从 正 态 分 布 ; DEA 超 效率 (SE) 的 伴随 
概率 分 别 为 Px=0.003 与 P;w=0.000， 丝 小 于 显著 性 水 
平 0.05， 拒 绝 零 假设 ， 不 服从 正 态 分 布 ( 表 6)。 


4.3 统计 结果 的 相关 性 检验 


根据 正 态 检 验 结果 ( 表 7)，DEA 超 效率 (SE) 的 
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期 间 实 施 完毕 的 126 项 948 林产 项 目的 量化 (R DEA 超 效 率 ) 结果 


Table 3 Quantification results (including DEA super-efficiency) of 126 "948 forestry projects" completed during the "Tenth Five-Year Plan" period 


序 。 项目 5H kO Om gia 验收 TOA MNE SAO 。 DEA- 
; = : ‘ 加 费 /万 元 Xf /个 cae 
号 编号 名 称 单位 分 类 责 人 家 地 区 时 间 书 编号 ”评分 超 效率 
{IL} {02} {04} 
76 2004- “木材 机 械 应 力 分 级 ”中国 林 科 院 RA 任 海 青 ; 加 拿 2004— KALE 83.2 60.0 28 0 15.000 
4-55 ”技术 引进 木材 工业 研 加工 ”本 华 K; Æ ”2007 年 ”2008 年 
究 所 国 118 号 
110 ”2005- ”油橄榄 叶片 提取 物 ”甘肃 省 林业 ”林产 ”于 洪波 美国 ， 2005 一 ” 林 科 验 81.9 70.2 5 1 5.000 
4-64 ”及 漂 油 蔡 取 技术 引 ”科学 研究 院 化 工 希腊 2008 年 。 2008 年 
进 024 号 
90 2005- ”干旱 区 机 械 化 集 雨 ”国家 林业 局 林业 王 军 厚 ; 赵 ”意大利 2005 一 ” 林 科 验 94.6 40.0 0 4.500 
4-08 ”植被 恢复 关键 技术 ”调查 规划 设 ” 机械 AA 2008 年 。 2008 年 
引进 计 院 050 号 
13 2001-” 麦 GE) 秸 纤 维 制 ”南京 林业 大 生物 周 定 国 奥 地 2001 一 。 林 科 验 88.4 80.0 80 4 3.509 
34 备 技术 引进 学 基 材 All; 德 2004 年 2006 年 
料 国 045 号 
80 2004- ” 低 质 材 高 效 低 污染 ”中国 林 科 院 ”林产 BEF 奥地利  2004— 林 科 验 88.7 60.0 18 0 2.192 
4-63 ” 制 高 档 纸浆 生产 技 ”林产 化 学 工 WIE 2007 年 ” 2008 年 
术 引 进 业 研 究 所 123 号 
38 2003- ” 木 结 构 房 屋 结构 材 中国 林 科 院 木材 RKE ME 2003 一 。 林 科 验 ”87.3 333.0 26 8 2.015 
4-28  ” 料 应 用 关键 技术 引 木材 工业 研 ”加工 ”建雄 K; 日 ”2008 年 ”2008 年 
进 究 所 本 014 号 
96 2005- ”城市 森林 监测 、 评 ”中国 林 科 院 ”林业 TG PE 2005 一 。 林 科 验 84.1 48.0 7 0 2.014 
4.22 价 与 标准 化 数据 收 ”林业 科技 信 机械 2008 年 2008 年 
集 技术 引进 息 研 究 所 154 号 
37 2003- 人 工 林 木材 的 中 国 林 科 院 ”木材 PERE YF ”美国 2003— MAY 89.0 430.0 51 15 1.873 
4-27 “NIR( 近 红外 ) 材 性 木材 工业 研 ME Bf 2006 4E 2008 年 
预测 及 增值 利用 技 ” 究 所 113 号 
术 引 进 
115 ”2005- ”人 竹 醋 液 深度 开发 关 ”浙江 林学 院 林产 D 本 2005 一 。” 林 科 验 82.0 90.0 4 2 1.777 
4-69 ” 键 技 术 引 进 化 工 2008 年 ”2008 年 
004 号 
23 2002- ”落叶 松 工程 木 制 材 北京 林业 大 木材 PEAR H 2002 一 。” 林 科 验 ”82.9 65.0 9 4 1.774 
41 料 制造 与 应 用 技术 ”学 加 工 美国 2005 年 。 2007 年 
引进 051 号 
103 2005- ”林木 遗传 资源 监 ” 国家 林业 局 资源 E 美国 ， 2005 一 “” 林 科 验 873 40.0 2 0 0.296 
440 ” 测 、 评 价 与 管理 技 “科技 发 展 中 “利用 哥 伦 2008 年 2008 年 
术 引 进 心 比 亚 018 号 
77 2004- “植物 品种 图 像 识别 ”国家 林业 局 林业 EN 德国 2004 一 ” 林 科 验 85.8 50.0 3 0 0.244 
4-59 ”技术 引进 科技 发 展 中 机械 2007 年 ”2008 年 
心 124 号 
33 2002- ”树木 性 状 基因 芯片 ”中 国 林 科 院 ”林业 户 备 柱 美国 2002 一 。 林 科 验 84.3 80.0 0 0 0.193 
57 分 析 技术 引进 林业 研究 所 机 械 2005 年 2007 年 
029 号 
84 2004- ” 单 宁 酸 精 加 工 产 品 中国 林 科 院 林产 KER 日 本 2004 一 ” 林 科 验 89.9 105.0 0 0 0.186 
C04 ”生产 工艺 创新 与 示 ”林产 化 学 工 化工 2007 年 ”2008 年 
范 业 研 究 所 130 号 
39 2003 ”电磁 波 式 高 精度 木 ”国家 林业 局 林业 刘 少 刚 美国 2003— = 林 科 验 76.1 60.0 0 0 0.160 
-4-29 ” 材 含水 率 检测 系统 ”哈尔滨 林业 机械 2008 年 ”2008 年 
引进 机 械 研 究 所 152 号 
* 注 : 项 目 信息 以 DEA 超 效率 值 降序 排列 
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表 4 项 目 评审 中 的 1 类 与 工 类 误差 的 界定 


Table 4 Definition of Type I and Type II errors in project evaluation 


~ 项 目 同行 评审 打分 
高 于 中 位 数 低 于 中 位 数 
项 目 科研 效率 高 于 中 位 数 ”正确 WRIR# (Type li Errors) : 同行 评审 打分 低 于 平均 水 平 的 项 
其 科研 效率 反而 高 于 平均 水 平 
项 目 科研 效率 低 于 中 位 数 BKR (Type IErrors) : 同行 评审 打分 高 于 平均 水 平 EN 
的 项 目 其 科研 效率 反而 低 于 平均 水 平 
Ti RX=0 813g O 
00 0.50 1.00 150 20 250 
DEA 超 效率 
图 3 项 目的 验收 评分 与 DEA 超 效率 值 的 散 点 分 布 
Fig.3 Scattered distribution of scores and DEA super-efficiency value in projects 
#5 项 目 同 行 评审 犯 1 X5 IKER E 
Table 5 Proportion of Type I and Type H errors in the peer review of projects 
项 目 数值 比重 /% 

正确 决策 81 64.3 

I 类 误差 22 17.5 

IKR% 23 18.2 

总 数 126 100.0 

426 项 目的 验收 评分 与 DEA 超 效 率 (SE) 频次 的 正 态 分 布 检验 

Table 6 Normal distribution test of the score and DEA super-efficiency (SE) frequency in projects 

; Kolmogorov-Smirnov 检验 Shapiro-Wilk 检验 

Ws 统计 值 Siatistic 自由 度 df 显著 性 Sig. 统计 值 Statistic 自由 度 df 显著 性 Sig. 
DEA-SE 0.102 126 0.003 0.953 126 0.000 
Scores 0.070 126 0.200** 0.774 126 0.067** 


* 注 : #*. 表 示 在 置信 度 OUM) 为 0.01 时 ， 相 关 性 是 显著 的 
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基于 DEA 超 效率 验证 的 项 


表 7 项 目的 验收 评分 与 项 目 典 型 投入 / 产 出 指标 Spearman 相关 性 检验 


Table 7 Spearman correlation test between the score and typical input/output indicators in projects 


项 指标 同行 评议 得 分 经 费 {I1} 期 刊 论文 {02} 专利 {O04} 
同行 评议 得 分 相关 系数 p 1.000 0.105 0.250™ 0.377™ 
显著 性 Sig. 0.000 0.242 0.005 0.000 
样本 量 N 126 126 126 126 
经 费 {I1} 相关 系数 p 1.000 0.129 0.073 
显著 性 Sig. 0.000 0.151 0.416 
样本 量 N 126 126 126 
期 刊 论文 {02} 相关 系数 p 1.000 0.277” 
显著 性 Sig 0.000 0.002 
样本 量 N 126 126 
专利 {04} 相关 系数 p 1.000 
显著 性 Sig 0.000 
样本 量 N 126 


* 注 : **. 在 置信 和 度 (OU) 为 0.01 时 ， 相 关 性 是 显著 的 


分 布 并 不 是 正 态 分 布 ， 所 以 相关 性 分 析 ， 我 们 不 能 采 
用 Pearson 相关 性 检验 而 应 采用 Spearman 相关 性 检验 。 
4.3.1 同行 评议 打分 与 项 目 投入 / 产 出 指标 相关 性 
根据 散 点 分 布 (图 4) 判断 与 相关 性 检验 (R 7) 
结果 发 现 : 948 林产 技术 项 目 验收 评分 (Scores) 与 研 
发 经 费 投 入 Il 并 不 存在 明显 的 相关 性 ， 但 与 期 刊 论 
文 数量 02 、 专 利 数量 04 之 间 存 在 显著 的 统计 正 相关 
PE, Spearman 相关 系数 分 别 为 p=0.250 (Sig.<0.01) 与 
p=0.377 (Sig.<0.01)。 这 说 明 : 产 出 越 多 ， 同 行 评 分 也 


同时 ， 科 研 产 出 期 刊 论文 数量 02 与 专利 数量 04 


验收 评分 (Scores) 
验收 评分 (Scores) 


0 50 100 
WEARI 


150 200 0 


(a) 研发 经 费 {I1} 


10 
期 刊 论文 02 


(b) 期 刊 论文 数 {02} 
图 4 项 目的 验收 评分 与 项 目 典型 投入 / 产 出 指标 的 散 点 分 布 


之 间 也 呈现 适度 的 统计 正 相关 性 ，Spearman 相关 系数 
p=0.277 (Sig.<0.01)。 这 与 之 前 一 系列 研究 结论 相 一 
致 : 科研 活动 学 术 论文 的 产 出 强度 与 技术 专利 的 产 出 
强度 之 间 存 在 一 致 性 。 
4.3.2 超 效 率 (SE)-DEA 模型 指标 与 项 目 投 入 / 产 出 指 
标 相关 性 

根据 散 点 分 布 (图 5) 判断 与 相关 性 检验 ( 表 8) 
结果 发 现 : 948 林产 项 目的 研发 效率 (DEA 超 效率 表 
征 ) 与 研发 经 费 UL 投入 之 间 并 不 存在 明显 的 相关 关 
系 ， 但 它 与 期 刊 论 文 数量 02、 专 利 数量 04 之 间 存 在 
适度 的 统计 正 相 关 性 Spearman 相关 系数 p=0.376 


验收 评分 (Scores) 


20 30 40 0 5 10 15 20 
专利 O4 


(c) 专利 数 {O4} 


Fig.4 Scatter distribution of the score and typical input/output indicators in projects 
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(a) 研发 经 费 {I1} 


CRS_Input oriented 


(b) 期 刊 论文 数 {02} 
* 注 : 本 文 的 DEA 超 效率 (SE) 采用 的 是 规模 报酬 不 变 (CRS) 的 CCR 模型 并 以 投入 
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(c) 专利 数 {04} 
度 (Input Oriented) 进行 计算 


图 5 mH DEA 超 效率 (SE) 与 项 目 典 型 投入 / 产 出 指标 的 散 点 分 布 


Fig.5 Scatter distribution of the DEA super efficiency (SE) and typical input/output indicators in projects 


#8 项 目的 DEA 超 效率 (SE) 与 项 目 典型 投入 / 产 出 指标 Spearman 相关 性 检验 


Table 8 Spearman correlation test of the DEA super efficiency (SE) and typical input/output indicators in projects 


项 DEA Super Efficiency 经 费 {I1} 期 刊 论文 {02} 专利 {O04} 
DEA Super Efficiency 相关 系数 p 1.000 -0.099 0.376™ 0.523™ 
显著 性 Sig. 0.000 0.271 0.000 0.000 
样本 量 N 126 126 126 126 


UE. **. 在 置信 和 度 COU) 为 0.01 时 ， 相 关 性 是 显著 的 


(Sig.<0.01) 与 p=0.523 (Sig.<0.01)。 这 说 明 ， 产 出 越 
Z, 项目 生 产 效 率 也 越 高 。 
3.3.3 同行 评议 结果 与 超 效率 (SE)-DEA 模型 指标 相 
关 性 

根据 散 点 分 布 (图 6) 与 相关 性 检验 ( 表 9) 结果 
发 现 : 林业 948 产业 技术 项 目 验 收 评分 与 研发 (R&D) 
主体 的 科研 效率 (DEA 超 效率 表征 ) 之 间 呈 现 统计 正 
相关 性 Spearman 相关 系数 p=0.250 (Sig.<0.01)。 这 
说 明 : 同行 评议 得 分 与 项 目的 研发 效率 测度 结果 之 间 
存在 一 致 性 。 


5 结论 与 讨论 


5.1 4 论 


本 文 借助 于 DEA 方法 评价 决策 单元 (或 DMU) 
的 研发 生产 率 (效率 )， 并 将 该 科研 生产 率 (效率 ) 指 
标 作为 同行 评议 决策 有 效 性 的 验证 标准 ， 以 求 通过 后 


98 2022 征 第 34 老 第 2 其 
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SG 2.65x + 81.90 
R?= 0.76 


项 目 验收 评分 


0 0.5 1 1.5 2 2.5 
项 目 DEA 超 效率 
图 6 项 目的 验收 评分 与 DEA 超 效率 的 散 点 分 布 
Fig.6 Scattered distribution of the score and DEA 
super-efficiency in projects 

* 注 : 本 文 超 效率 以 投入 角度 采用 规模 报酬 不 变 (CRS) 的 CCR 模 
型 进行 计算 ; 曲线 的 拟 合 采 用 最 小 二 乘 (OLS) 方法 计算 ， 红 色 虚 
线 为 拟 合 曲 线 


验 性 地 核查 方式 了 解 整个 同行 评议 决策 的 质量 。 实 验 
数据 选择 国家 林业 局 在 “十 五 ”期 间 批准 实施 的 126 
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N] 


表 9 项 目的 验收 评分 与 DEA 超 效率 的 Spearman 相关 性 检验 


Table 9 Spearman correlation test between the score and DEA super-efficiency in projects 


项 DEA Super Efficiency Scores 

相关 系数 p 1.000 0.250™ 

DEA Super Efficiency 显著 性 Sig. 0.000 0.005 
样本 量 N 126 126 


* 注 : **. 在 置信 和 度 ( 双 测 ) 为 0.01 时 ， 相 关 性 是 显著 的 


项 “948 计划 ”林业 产业 技术 项 目 ， 实 验 模型 为 超 效率 
SE-CCR 模型 ， 研 发 投入 9 项 ， 研 发 产 出 4 项 ， 测 度 研 
发 效率 。 

与 以 往 以 引用 为 基础 的 量度 指标 作为 同行 评议 决 
策 有 效 性 的 验证 标准 相 比 较 ， 本 文 的 实验 研究 结果 得 
出 的 结论 相似 ， 即 专家 组 的 同行 评议 质量 判断 与 实际 研 
发 (R&D) 效率 (DEA 超 效率 ) 二 者 之 间 呈 现 适 度 的 统 
计 正 相关 性 ，Spearman 相关 系数 p=0.250 (Sig<0.01) 。 
同时 ， 犯 1 类 错误 (高 佑 ) 与 工 类 错误 (低估) 的 比 
例 分 别 为 17.5% 与 18.2%， 有 效 同行 评议 决策 比重 仅 占 
64.3%。 该 结果 证 实 : 同行 专家 组 的 学 术 质 量 价值 判断 
的 确 存 在 系统 误差 但 规模 有 限 ， 实 际 的 项 目 资金 分 配 
并 没有 我 们 想象 地 那样 高 效 。 该 比例 与 西欧 发 达 经 济 
体 项 目 资助 委员 会 大 型 基础 研究 项 目 资 助 评审 的 有 效 
性 验证 结果 有 一 定 差异 ， 主 要 在 于 西欧 的 项 目 资助 评 
审 更 倾向 于 犯 工 类 错误 (FFL) 而 非 1 类 错误 (A 
伪 )， 即 为 实现 高 水 平 项 目的 有 效 遂 选 “ 宁 可 错 杀 一 干 
也 不 放 过 一 个 "， 欧 美的 项 目 资助 评审 更 为 严格 也 更 为 
完备 、 系 统 。 这 对 国内 基金 委 的 项 目 运 作 的 建议 : 加 
强项 目 “ 过 程 质量 监管 "， 严 格 层 层 把 关 ， 扭 转 中 国 当 
前 “ 重 立项 轻 验收 ”的 局 面 ， 就 如 习 总 书记 指出 的 由 
“高 速 发 展 ” 向 “高 质量 发 展 ” 转 型 。 


5.2 it it 


我 们 并 不 认为 该 评价 结论 普遍 适用 且 一 成 不 变 ， 
但 是 本 文 的 确 以 准确 数字 来 阐释 同行 评议 质量 到 底 好 
到 “ 何 种 程度 ”。 未 来 研究 可 能 会 以 更 全 局 、 更 大 规 
模 、 更 长 周期 的 统计 样本 数据 源 开展 实证 分 析 ， 论 证 
同行 评议 的 质量 在 长 周期 是 否 不 断 完善 ? 或 者 通过 多 
种 客观 量度 方法 对 同行 评议 的 有 效 性 获得 科学 性 地 深 


入 理解 ， 又 或 者 进一步 更 为 直观 地 对 比 多 种 量度 工具 
的 具体 价值 。 
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基于 DEA 超 效 率 验证 的 项 目 同行 评议 结果 有 效 性 研究 


The Validity of Peer Review Results of DEA Based Super Efficiency Projects 
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Abstract: [Purpose/Significance] This article uses some projects'peer review results as an example to explore the effectiveness of peer 
review based on expert knowledge. [Method/Process] It uses data envelopment analysis to measure the R&D efficiency of the projects. 
The evaluation model is a CCR model modified by super-efficiency, and the efficiency index is used as a verification standard for the 
effectiveness of peer review results. The data source is 126 "948 projects" implemented by the State Forestry Administration, covering 
13 input and output evaluation indicators. [Results/Conclusions] The experiment found that there was a moderate positive correlation 
between the project peer review results and the actual R&D efficiency (DEA super efficiency), and the Spearman correlation coefficient 
p=0.250 (Sig.<0.01). The percentages of type I errors and type II errors made by subjective review were 17.5% and 18.2%, respectively, 
and effective peer review decisions accounted for 64.3%. It is confirmed that there are certain systematic errors in peer review, but they 
are inevitable. 


Keywords: peer review; project evaluation; effectiveness; super efficiency DEA 
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